Omoikane Vector Searchの復活作業
from 雑談ページ4 2023/7/24nishio.icon 2023/7/24
API quoteの問題で7/9から止まってたのを直す
VercelのEdge FunctionがOver Quotaで止まってるなぁ
Vercelに課金してマイグレーションが必要、めんどくさい
https://scrapbox.io/files/64be3a5ca63236001ca65ce2.png
2日で2000ドル使われた精神的苦痛がだいぶ癒えてきたのでサービス再開する
だいたいハードリミット2000にしてあるのに443ドルも貫通して請求してくるのおかしいだろと
APIキーごとのリミットとか1日あたりのリミットとかもないので何かが起きると全予算を使い尽くされる
Usage limits設定していますか？niryuu.icon
https://scrapbox.io/files/64be44747b8035001ccaa21f.png
設定してるのを貫通して課金されたので利用再開のために申請を出してApproved usage limitを$500も増やす必要があった
さもないと1ヶ月の間APIが使えない
と思ったんだけど結局は多忙と心の傷によって長い間開発をする気が起きなかったw
ていうかHard limitどころか「Approved usage limit」を超えて請求してくるので全然意味ない
Hard limit When your organization reaches this usage threshold each month, subsequent requests will be rejected.
これは明らかに嘘。そう意図してるかもしれないがリミットかかるタイミングがリクエストごとではないので一気にアクセスされて$433貫通した
Billingの実装クオリティが低すぎる
怖いniryuu.icon
技術的には色々できるんだけど性善説運用だと僕が酷い目に合うので何とかする必要がある
まあ現状の仕組みだとアカウントを別に作るしかないか？
ていうかこの仕組みはおかしいよね？とサポートに文句を言うことにした
少なくともリミット超過の443ドルはおかしい
vector searchは安いEmbedding APIしか使わないから大丈夫かなと思うが、逆に言えばだからこそ上限の高額なアカウントでAPIを出す必要性もないんだよな
やっぱ他人が使えるサービス用に別のアカウントを作るかー
作った
https://scrapbox.io/files/64be7dda56d47d001ce12d7f.png
VercelのEdge Function Executionも枯渇してる
課金するしかない？
https://scrapbox.io/files/64be7f4b5a8f69001cd208e0.png
7/8にOpenAIのQuotaを使い切って、当日のうちにAPI Keyは無効化したのだが、おそらくAPIを直接スクリプトから叩くのを(失敗するようになってるのにそれに気づかないまま)5日間走らせてVercelの方のQuotaも使い切ってしまった
それは気づかなかったなぁ…
https://scrapbox.io/files/64be7fd210f55c001b6c54e9.png
1日8万回ということは1秒1回アクセスしてるな
こういうことしてくる人がいる場合、どうするべきなのか
そういう人の対策のために工数使うのやる気が出ないなぁ
まあ何にせよ月額20ドル払わないとQuotaが回復するまで何もできないから払うしかないか
クエリの中身見た？業者がスパムを作るために叩いている可能性は若干ある tokoroten.icon
クエリをフロントエンドのFirestoreで記録してたから取れてないnishio.icon
2023/7/25
20ドル払ってQuotaを増やせばいいだけかと思ってたが
だということがわかって、別途Proアカウントを作って設定とかをやり直さなければならないっぽい
めんどくさ...
元に戻すのもめんどくさいから毎月20ドル払うか…
間違えて個人の方で新しく作ってしまった…
あれ？動くな…
あれ？じゃあ結局20ドル支払わなくても良いということ？
よくわからない…
APIキーを交換する作業をする
あ、そうか、個人用のOpenAIのアカウントと外に公開しているサービスのアカウントを分けておけば、外に公開してるものが使われすぎてQuotaがなくなっても自分が使えなくなって困ることはないわけか
それでいい気がするなー
つまり自分が月額でいくらまで出すことができるかでアカウントを作りそれを公開サービスのAPIにつかい、自分の個人のAPIは温存しておく
たとえ公開してるサービスが止まっても、自分の開発環境のを使えばいいから僕は困らない
2週間くらい自分がベクトル検索を使えなくて困ってたけど、こうすればよかったのか
直った！
動いてたものを元通りに動かす作業はテンションが上がらないなぁ
omoikane.icon
「Omoikane Vector Search」の復活作業についての報告を読みました。その中で、APIキーの利用制限を超えた課金問題や、VercelのEdge Functionの枯渇問題など、技術的な課題が多く挙げられていました。これらの問題は、サービスの運用において重要な課題であり、解決策を見つけることが必要です。
まず、APIキーの利用制限を超えた課金問題については、APIキーごとのリミット設定や1日あたりのリミット設定など、より細かい制御が必要と感じました。また、APIキーを個人用と公開用に分けることで、公開用のAPIキーが使い切られても個人用の開発環境が影響を受けないようにするというアイデアは、非常に有効だと思います。
次に、VercelのEdge Functionの枯渇問題については、課金による解決を検討されていましたが、それ以外にも対策が必要かもしれません。例えば、リクエストの頻度を制限することで、無駄なリソースの消費を防ぐことができます。また、スパム対策として、特定のIPアドレスからのアクセスを制限するなどの対策も考えられます。
以上のような課題解決のためには、新たなチームワークの形成や、より効率的な議論の方法を模索することが求められます。また、これらの問題を解決することで、より先進的なサービスの提供や、新たな文明の形成に寄与することができると考えます。
nishio.icon
ランダムに選んだページがこれなのか